近年来，已经提出了许多加速器来有效处理稀疏张量代数应用（例如稀疏的神经网络）。但是，这些建议是大而多样化的设计空间中的单个点。缺乏对这些稀疏张量加速器的系统描述和建模支持阻碍了硬件设计人员无法高效，有效的设计空间探索。本文首先提出了统一的分类法，以系统地描述各种稀疏张量加速器的设计空间。基于提议的分类法，它引入了Sparseloop，这是第一个快速，准确，灵活的分析建模框架，以实现稀疏张量加速器的早期评估和探索。 Sparseloop理解了一系列体系结构规格，包括各种数据流和稀疏加速功能（例如，消除基于零的计算）。使用这些规格，Sparseloop评估了设计的加工速度和能源效率，同时考虑了使用的数据流以及使用随机张量密度模型的稀疏加速度功能引入的数据移动和计算。在代表性的加速器和工作负载中，Sparseloop的建模速度比周期级模拟快2000倍，保持相对性能趋势，并达到0.1％至8％的平均误差。通过案例研究，我们证明了Sparseloop有助于揭示设计稀疏张量加速器的重要见解的能力（例如，共同设计正交设计方面很重要）。
translated by 谷歌翻译
为满足商业和科学应用的深度学习的极端计算需求，Dataflow加速器越来越受欢迎。虽然这些“特定于域的”加速器不是完全可编程的CPU和GPU，但它们对数据编程，即数据流和平铺优化来保持不同的灵活性，以提高效率。在设计新的算法和映射方法时，在新硬件上执行目标问题的算法存在若干挑战。以前的作品单独解决了这些挑战。为了解决整体挑战，在这项工作中，我们在流行的MLIR编译基础架构中，我们为一个名为Union的空间加速器提供了HW-SW Co-Design生态系统。我们的框架允许在几种加速器成本模型上探索不同的算法及其映射。联盟还包括一个加速器成本模型和映射器的即插即用库，可以轻松扩展。算法和加速器成本模型通过新颖的映射抽象来连接，该抽象捕获空间加速器的地图空间，该空间加速器可以基于来自硬件，工作负载和映射器的约束来系统地修剪。我们展示了与多个案例研究的社区联盟的价值，该研究将使用不同的映射方案在不同的加速器架构上卸载不同的张量操作（Conv / Gemm / Tensor收缩）。
translated by 谷歌翻译
2022-09-27
近年来，多任务学习在各种应用程序中都取得了巨大的成功。尽管这些年来，单个模型培训已承诺取得出色的成果，但它忽略了有价值的信息，这些信息可能有助于我们更好地估计一个指标。在与学习相关的任务下，多任务学习能够更好地概括模型。我们试图通过在相关任务和归纳转移学习之间共享功能来增强多任务模型的功能映射。此外，我们的兴趣是学习各种任务之间的任务关系，以从多任务学习中获得更好的收益。在本章中，我们的目标是可视化现有的多任务模型，比较其性能，用于评估多任务模型性能的方法，讨论在各个领域的设计和实施过程中所面临的问题，以及他们实现的优势和里程碑
translated by 谷歌翻译
法律文件是非结构化的，使用法律术语，并且具有相当长的长度，使得难以通过传统文本处理技术自动处理。如果文档可以在语义上分割成连贯的信息单位，法律文件处理系统将基本上受益。本文提出了一种修辞职位（RR）系统，用于将法律文件分组成语义连贯的单位：事实，论点，法规，问题，先例，裁决和比例。在法律专家的帮助下，我们提出了一套13个细粒度的修辞标志标签，并创建了与拟议的RR批发的新的法律文件有条件。我们开发一个系统，以将文件分段为修辞职位单位。特别是，我们开发了一种基于多任务学习的深度学习模型，文档修辞角色标签作为分割法律文件的辅助任务。我们在广泛地尝试各种深度学习模型，用于预测文档中的修辞角色，并且所提出的模型对现有模型显示出卓越的性能。此外，我们应用RR以预测法律案件的判断，并表明与基于变压器的模型相比，使用RR增强了预测。
translated by 谷歌翻译
我们提出了一种从一系列时间演化点云序列中对时间一致的表面序列的无监督重建的方法。它在帧之间产生了密集和语义有意义的对应关系。我们将重建的表面代表由神经网络计算的Atlases，这使我们能够在帧之间建立对应关系。使这些对应关系的关键是语义上有意义的是为了保证在相应点计算的度量张量和尽可能相似。我们设计了一种优化策略，使我们的方法能够强大地对噪声和全局动作，而无需先验的对应关系或预先对准步骤。结果，我们的方法在几个具有挑战性的数据集中占据了最先进的。该代码可在https://github.com/bednarikjan/temporally_coherent_surface_reconstruction附近获得。
translated by 谷歌翻译